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В статье приводится описание оригинальной архитектуры абстрактной графодинамической 
машины (ГДМ) и процесс интеграции ГДМ в прикладную интеллектуальную систему. 
Рассмотрена реализация программной модели архитектуры на базе вычислительного кластера. 
Приведены результаты тестовых замеров производительности системы. 
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Интеллектуальная система (ИС) — это программная или программно- 
аппаратная система, ориентированная на решение задач, традиционно относящих- 
ся к творческим и принадлежащих определенной предметной области. 
Совокупность знаний из этой предметной области составляет базу знаний, 
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которая является основным объектом форматирования, обработки и исследо- 
вания. База разрабатывается для оперирования знаниями и, как правило, содержит 
вспомогательную служебную информацию, структурированную в зависимости от 
выбранного формата представления знаний. 


Интеллектуальная система 


Алгоритмы семантической Устройства 
обработки информации ввода/вывода 


База знаний 
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области 

/ 


/ 
Семантическая сеть Семантическая сеть 
Интерпретатор 


Рис.1. Схема интеграции ГДМ в интеллектуальную систему 


На практике прикладная система включает в себя базу данных (БД) для 
хранения реально полезной информации (текстовые документы, изображения, 
мультимедиа, либо внешние ссылки на такого рода информацию), а также 
метаинформацию. Метаинформация используется для дополнительного описания 
хранимых данных, для придания им некоторой смысловой нагрузки в соответ- 
ствии с конкретной прикладной задачей. Например, вводятся типы записей в БД, 
различные описательные атрибуты, логическая связь между данными, взаимо- 
зависимости и прочее. Совокупность всей метаинформации образует семанти- 
ческую сеть, на базе которой и функционирует система [1] — выполняются слож- 
ные поисковые запросы и решаются другие интеллектуальные задачи. Аппарат 
семантических сетей не только обеспечивает визуализацию структуры инфор- 
мации, но, что важнее, позволяет разрабатывать формальные методы и алгоритмы 
анализа и модификации знаний. 

К сожалению, на сегодняшний день не существует единого формата пред- 
ставления семантических сетей. В простейшем случае сеть может быть представ- 
лена связями между таблицами в реляционной БД. В более сложных случаях 
разрабатывается свой собственный формат хранения сети, построенный с учетом 
ряда допущений из-за тесной связи с конкретной задачей. Характерной чертой 
таких задач является их высокая структурная и динамическая сложность, решение 
в общем виде зачастую сводится к классу трансвычислительных — уже при 
относительно небольшом числе вершин графа (узлов семантической сети) время 
решения методом перебора превышает возможности любых теоретически 
мыслимых вычислительных систем (ВС). Однако с учетом специфики конкретных 
задач, а также в результате формулировки задачи на языке теории графов, можно 
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получить более простые методы решения, часто практически реализуемые. 
Известны попытки реализовать алгоритмы семантической обработки с приме- 
нением серийных аппаратных платформ с параллельной архитектурой, таких как 
графические ускорители [2,3], кластеры и суперЭВМ [4,5,6]. 

Согласно ряду проведенных исследований [1] имеет смысл разделить 
верхний уровень ИС (т.е. методы семантической обработки информации) от ее 
нижнего уровня (уровня аппаратной реализации). Аппаратная платформа в таком 
случае может быть представлена в виде абстрактной графодинамической маши- 
ны, ориентированной на анализ и обработку семантических сетей. 
Графодинамическая машина (ГДМ) — программная или аппаратная система, 
ориентированная на решение задач на графах. Согласно понятию графодинамики 
[7] входы, выходы и внутреннее состояние такой системы представляются 
структурами общего вида, принимающими значение из произвольного множества 
графов. Обработка информации в ГДМ трактуется как графодинамический 
процесс, т.е. процесс преобразования графовой структуры, в ходе которого 
меняется не только состояние элементов этой структуры, но и ее конфигурация 
(появляются и удаляются вершины, изменяются связи между ними). 

В качестве конечной реализации такой абстрактной машины могут 
выступать любые ВС с любой подходящей архитектурой. Необходимую унифи- 
кацию (т.е. платформенную независимость) обеспечивает программный интер- 
претатор, осуществляющий перекодировку программ с верхнего уровня на 
нижний (аппаратный) в рабочий формат ГДМ (рис.1). 

Сложность, нерегулярность, иерархичность семантических графов приводит 
к проблемам в разработке программ для ГДМ. В настоящей работе предлагается 
один из подходов к построению унифицированной графодинамической машины 
на базе ассоциативной ВС (процессора ассоциативной памяти). 


Алгоритмы преобразования графов 


Основной задачей, решаемой интерпретатором, является регуляризация 
семантической сети для обработки на процессоре, т.е. формальная трансформация 
исходного графа семантической сети [1] к некоторому регулярному графу (рис. 2) 
[6]. Тогда регулярность графовой структуры позволит эффективно распарал- 
лелить алгоритмы вычислительного процесса ГДМ. Наряду с нерегулярностью 
структуры семантических сетей, отражающей информационные связи, опреде- 
ленную сложность представляет наличие большого числа типов элементов графа, 
необходимых для обеспечения разнообразия семантики представляемой 
информации. 

Пусть имеется сематическая сеть 5(М№,А) представляющая собой совокуп- 
ность множества узлов семантической сети № и множества дуг семантической 
сети А. Главным отличием от классического графа является наличие у каждого 
узла и дуги набора разнообразных свойств и характеристик, а также возможность 
дуги входить не только в узел, но и в другую дугу. Необходимо получить из сети 
граф С(Т,Е) регулярной структуры, без потери информации, хранимой в исходной 
сети. Для того чтобы не запутаться в обозначениях, при работе с исходной семан- 
тической сетью будем пользоваться терминами узел и дуга, а при работе с резуль- 
тирующим графом — терминами вершина и ребро (или ориентированное ребро). 
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Рис. 2. Трансформация семантической сети в регулярный граф 


Используемый алгоритм трансформации может быть представлен в виде 
псевдокода: 
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Каждому узлу исходной сети 5 ставится в соответствие вершина графа С, 
каждой дуге сети 5 — вершина и два ориентированных ребра графа С. Полученные 
ребра соответствуют отношению, представляемому исходной дугой, и соединяют 
образованную вершину с двумя вершинами, инцидентными исходной дуге. 
Отметим, что на данном этапе вся семантика элементов исходной сети была 
перемещена в вершины графа С, а ребра содержат информацию о структуре 
исходной сети (связи и их ориентации). 

Полученный таким образом двудольный граф С отличается своей регуля- 
рной структурой, позволяя свести алгоритмы семантической обработки данных к 
ряду несложных операций и обеспечить простоту распараллеливания вычисли- 
тельного процесса. 


Архитектура абстрактной ГДМ на базе ассоциативной ВС 


Ассоциативная ВС есть не что иное, как одна из разновидностей парал- 
лельных вычислительных систем ЗПМШО класса (рис. 3), в которых и процессорных 
элементов (ПЭ) представляют собой простые устройства, как правило, последо- 
вательной поразрядной обработки. При этом каждое слово (ячейка) ассоциа- 
тивной памяти имеет свое собственное устройство обработки данных (сумматор). 
Операция осуществляется одновременно всеми и ПЭ. Все или часть ПЭ могут 
синхронно выполнять операции над всеми ячейками или над выбранным 
множеством слов ассоциативной памяти. 

Время обработки № т-разрядных слов в ассоциативной ВС определяется 
выражением [7]: 

Т = тИМ/ + К), 
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где { — время цикла ассоциативной памяти; и — число ячеек ассоциативной 
системы; К -— коэффициент сложности выполнения элементарной операции 
(количество последовательных шагов, каждый из которых связан с доступом к 
памяти). Таким образом, время обработки Т является константой и в большей 
мере зависит от величины Ли, т.е. количества ячеек памяти, приходящихся на 
один ПЭ. После фиксации величины М№и (выбор конфигурации нитей СРИ или 
настройка схемы ПЭ на ЕРОСА) время обработки в идеальных условиях остается 
неизменным вне зависимости от общего объема обрабатываемой памяти. 


ХОСТ Т=т\(М/п+К) 
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Рис. 3. Структурная схема ассоциативного процессора 


Приведенная схема ГДМ представляет собой классическую $ПМО 
архитектуру, состоящую из одного общего устройство управления (УУ) и 
линейки однотипных ПЭ со схемой, характерной для ассоциативной памяти (рис. 
4). УУ обеспечивает последовательное выполнение команд исходной программы, 
в то время как ПЭ отвечают за непосредственную работу с памятью процессора 
(каждый ПЭ содержит локальную память). Коммуникация осуществляется 
посредством глобальных шин данных (ШД): 

— ШД записи — шина, по которой исполняемая команда параллельно 
транслируется на все ПЭ; 

— ШД чтения — шина, по которой выполняется последовательное чтение 
данных с процессорных элементов (ШД с временным разделением); 

— шина управления (ШУ) — множество управляющих сигналов. 

Каждый ПЭ представляет собой ассоциативное запоминающее устройство 
(АЗУ) и включает в себя (рис. 4): 

— запоминающий массив для хранения № т-разрядных слов; 

— регистр ассоциативного признака, куда помещается код искомой 
информации (признак поиска). Разрядность регистра К равна длине слова т; 

— схемы совпадения, используемые для параллельного сравнения каждого 
бита всех хранимых слов с соответствующим битом признака поиска и выработки 
сигналов совпадения; 
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Рис. 4. Структурная схема ПЭ 

— регистр совпадений, где каждой ячейке запоминающего массива 
соответствует один разряд, в который заносится единица, если все разряды 
соответствующей ячейки совпали с одноименными разрядами признака поиска; 

— регистр маски, позволяющий запретить сравнение определенных битов; 

— комбинационную схему, которая на основании анализа содержимого 
регистра совпадений формирует сигналы, характеризующие результаты поиска 
информации. 

При обращении к ПЭ сначала в регистре маски обнуляются разряды, кото- 
рые не должны учитываться при поиске информации (согласно полю 5м). Все раз- 
ряды регистра совпадений устанавливаются в единичное состояние. После этого в 
регистр ассоциативного признака заносится код искомой информации (признак 
поиска, 5т) и начинается ее поиск, в процессе которого схемы совпадения одно- 
временно сравнивают первый бит всех ячеек запоминающего массива с первым 
битом признака поиска. Те схемы, которые зафиксировали несовпадение, форми- 
руют сигнал, переводящий соответствующий бит регистра совпадений в нулевое 
состояние. Так же происходит процесс поиска и для остальных незамаскирован- 
ных битов признака поиска. В итоге единицы сохраняются лишь в тех разрядах 
регистра совпадений, которые соответствуют ячейкам, где находится искомая 
информация. Конфигурация единиц в регистре совпадений используется в каче- 
стве адресов, по которым производится считывание из запоминающего массива. 

Из-за того, что результаты поиска могут оказаться неоднозначными, 
содержимое регистра совпадений передаются на комбинационную схему, где 
формируются сигналы, извещающие о том, что искомая информация: 

—а0 — не найдена; 

—а1 — содержится в одной ячейке; 

—а2 — содержится более чем в одной ячейке. 

Формирование содержимого регистра совпадений и сигналов а0, а1, а2 
носит название операции контроля ассоциации. Она является составной частью 
операций считывания и записи, хотя может иметь и самостоятельное значение. 

Рассмотрим работу ячейки памяти классического АЗУ. При считывании 
сначала производится контроль ассоциации по аргументу поиска. Затем, при а0=1 
считывание отменяется из-за отсутствия искомой информации, при а1=1 
считывается слово, на которое указывает единица в регистре совпадений, а при 
а2=1 сбрасывается маскируемая единица в регистре совпадений и извлекается 
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соответствующее ей слово. Повторяя эту операцию, можно последовательно 
считать все слова. Запись производится без указания конкретного адреса, в пер- 
вую свободную ячейку. Для отыскания свободной ячейки выполняется операция 
считывания, в которой не замаскированы только служебные разряды, показы- 
вающие, как давно производилось обращение к данной ячейке, и свободной 
считается либо пустая ячейка, либо та, которая дольше всего не использовалась. 


1 


0 


т-1 0 


т-1 


0 


т-1 0 


т-1 


: орегаНоп 5м, 5еагсй 5т, зеагсй \Мм, ме \М№ь, миКе 
зтае се! 
фуре па$К {ав пазК Чата 
№ и \ РА и 
М м м 
оп.код поля поиска поля записи 


Рис. 5. Формат команды процессора 


В обеих операциях производится контроль ассоциаций для выбора ячеек 
памяти, а также изменение состояния ячейки. В текущей реализации процессора 
обе операции реализованы посредством одной общей команды (рис. 5). Поиск 
ячеек определяется полями 5м и 5т, изменение состояния ячейки определяется 
полями Й’м и И’. И’м содержит маску, которая определяет разряды регистра, куда 
производится запись. Ир, в свою очередь, содержит значения, которые будут 
записаны в маскированные разряды. Запись может быть произведена как в 
первую выбранную ячейку, так и во все ячейки сразу в случае множественного 
совпадения. Первая выбранная ячейка будет определена с помощью аппаратно 
реализованной цепи очередности, позволяющей производить обращение к слову в 
порядке возрастания номера ячейки памяти независимо от величины 
ассоциативного признака. Выбор соответствующего режима осуществляется 
посредством поля «ше се!» команды процессора. 

Системный программист, таким образом, сам определяет как алгоритм 
чтения (в простейшем случае соответствующий классическому), так и алгоритм 
записи. Фактически, формат данных ячейки памяти является настраиваемым, и 
может изменяться в зависимости от решаемой прикладной задачи. 

Формируемые на выходе ПЭ сигналы а0, а1, а2 поступают на вход 
последующего ПЭ, который, в свою очередь, учитывает их при формировании 
своих выходных сигналов. Линейка ПЭ, тем самым, образует единую ассоциа- 
тивную память, результирующие сигналы которой будут сформированы на выхо- 
де последнего ПЭ. В результате, процессор обладает хорошей масштабируе- 
мостью, позволяет наращивать объем данных системы простым подключением 
дополнительных ПЭ к общей линейке. Сохраняется основное преимущество ассо- 
циативной памяти — увеличение количества ПЭ приводит к увеличению общего 
объема памяти без увеличения результирующего времени обработки данных. 


Реализация ГДМ на вычислительном кластере 


В рамках проекта представленная архитектура ГДМ была реализована на 
базе СОРИ (технология СОРА), с возможностью запуска как на одном графи- 
ческом ускорителе, так и на кластере СРО. В дальнейшем планируется 
реализовать модель в виде проблемно-ориентированного процессора (на базе 
ЕРСА), что позволит сильно сократить итоговую стоимость одной ячейки памяти. 

Общие технические характеристики ПО: 
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1. Программная модель реализована на базе вычислительного кластера, 
состоящего из управляющего узла и 7 вычислительных узлов. Характеристики 
узлов представлены в таблице ниже. 


Управляющий узел Вычислительный узел (х7) 

. ВЛаде: ОРУ ЗирегВ1Ладе 5В]- . ВЛаде: ОРУ ЗирегН1аде 5В|- 
7127В С 7127В С 

. 2 х СРО ш& Хеоп Е5606 . 2 х СРО ш& Хеоп Е5-2650 
. 24 СБВАМ . 32 ОБ ВАМ 
. 2х $50 800 . 2х Теа М2075 6 @(6 КАМ 
. 4х НОО 30065 . шАшВапа 4х ООЁК (400Ърз) 
. шАшВапа 4х ООЁК (400Ърз) . МеркмогК 2х СлеаБ Ефегпе! 
. МевмогК 2х Слраби Ефегпе 


2. Для работы с графическими процессорами на вычислительных узлах 
используется технология МУ1Ча СОПА. 

3. Для обмена данными между вычислительными узлами используется 
МР/СН? (стандарт интерфейса обмена данными МРТ, Меззасе Раззше Пиуегасе). 

4. Планирование задач и общее управление ресурсами вычислительного 
кластера осуществляется посредством ТОКОЧЕ КВезоигсе Мапарег. 

5. Основной рабочий проект реализован на С++, сборка проекта на тестовых 
машинах осуществляется в МУ5$2010, на кластере — посредством МаКе е. Проект 
находится в открытом доступе на 2иб. 

Ниже приводятся результаты работы системы в тестовом режиме. 
Исполняемый тест включает в себя следующую последовательность действий: 

1. Параллельная запись во все ячейки памяти фиксированного числового 
значения. 

2. Поисковый запрос по тому же числовому значению. 

3. Дальнейшая последовательная вычитка результата запроса (соответствует 
всему объему памяти процессора). 

Конфигурацию процессора запишем в виде [А] (С; М; М), где А- 
количество вычислительных узлов, С — размер ячейки памяти (Бт), М- 
количество ячеек в одном ПЭ (размер локальной памяти ПЭ), М — общее 
количество ПЭ. Тесты были выполнены для различных конфигураций процессора 
согласно таблице: 


Тест 1. Переменное Тест 2. Переменное Тест 3. Переменное 
число вычислительных число ПЭ число ячеек в одном ПЭ 
узлов 

[1] (4; 1; 28627) [3] (4; 1; 86016) [3] (4; 1; 86016) 

[2] (4; 1; 57344) [3] (4; 1; 172032) [3] (4; 2; 86016) 

[3] (4; 1; 86016) [3] (4; 1; 258048) [3] (4; 4; 86016) 

[4] (4; 1; 114688) [3] (4; 1; 344064) [3] (4; 8; 86016) 

[5] (4; 1; 143360) [3] (4; 1; 430080) [3] (4; 16; 86016) 

[6] (4; 1; 172032) [3] (4; 1; 516096) 


Было измерено среднее время выполнения инструкции, а также распре- 
деление временных затрат между операциями чтения, записи и временем простоя. 
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Рис. 6. Тест 1. Переменное число вычислительных узлов. 
Среднее время выполнения инструкции, мкс 

По результатам теста 1 видно (рис. 6), что подключение дополнительных 
вычислительных узлов на кластере (что соответствует подключению к процессору 
по 28627 ПЭ за каждый вычислительный узел) приводит к увеличению среднего 
времени выполнения инструкции. Это связано с текущей реализацией 
вычислительного процесса на кластере и будет улучшено в рамках работ по 
оптимизации программной модели. 
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Рис. 7. Тест 2. Переменное число ПЭ. 
Среднее время выполнения инструкции, мкс 
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Рис. 8. Тест 3. Переменное число ячеек в одном ПЭ. 
Среднее время выполнения инструкции, мкс 
По результатам теста 2 видно (рис. 7), что увеличение количества ПЭ прихо- 
дящихся на один вычислительный узел кластера, также приводит к увеличению 
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среднего времени выполнения инструкции. Это связано с тем, что каждый ПЭ 
эмулируется посредством отдельной нити СРО, количество которых ограничено 
некоторым верхним пределом. Соответственно, при превышении данного предела 
упадет общая производительность системы, т.к. выполнение операции на СРЫ 
займет несколько вычислительных циклов. 

По результатам теста 3 видно (рис. 8), что увеличение количества ячеек 
памяти приходящихся на одну нить ОРУ (что соответствует увеличению 
локальной памяти ПЭ) практически не влияет на время выполнения инструкции. 
Это можно объяснить тем, что затраты на запуск ядра СРО значительно 
превышают затраты на выполнение каждой отдельной нити. 


Заключение 


В настоящей работе был изложен подход к построению прикладных 
интеллектуальных систем, основанный на принципе платформенной незави- 
симости верхнего уровня системы от уровня аппаратной реализации. В качестве 
апаратной платформы предложено использовать ГДМ, рассмотрен пример инте- 
грации ГДМ в прикладную интеллектуальную систему. Формализован алгоритм 
преобразования семантической сети произвольного вида к графу регулярной 
структуры. Разработана архитектура абстрактной ГДМ $1МО-типа на базе ассоци- 
ативной вычислительной системы. Рассмотрены основные принципы функцио- 
нирования процессора (ГДМ), формат данных и система команд процессора. 

Для апробации результатов исследования была реализована программная 
модель предложенной архитектуры на базе вычислительного кластера 
(графические ускорители с МУ1Ча СОРА в качестве вычислительных узлов). 
Разработано ПО для ускорения процесса интеграции модели в реальные 
прикладные системы. 

В дальнейшем планируется продолжить исследование возможностей данной 
архитектуры (в частности программной модели на базе вычислительного кластера) 
посредством моделирования различных типовых задач семантической обработки, а 
также интеграции в существующие прикладные системы. Предстоит выполнить ряд 
оптимизаций ПО для увеличения производительности системы в целом. 

Конечной целью исследования является построение аппаратного прототипа 
процессора на базе ЕРСА. 
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КЕЗОМЕ 


М.Г. Уегешк, М.М. Таш, У.М. Зейкиоу 
Старв-дупапие шасьше пиретенайоп оп сотрийпе са$ег апа 15 п(еогайоп 
ш и еШоепЕ зует 

ш отуеп агае арргоасв ю Ба аррПсайоп имеШеепё зузетз$ изше СОМ 
(отарв-дупатис тасБте) аз а Ваг4\уаге р]аНопт 15 оиИтед. СОМ 15 дейпе4 аз а 
зузет опеше4 оп зо!уше ргоетз оп этарй$. при, оири ап пщегпа| 5бае оЁ 
засН зузет аге гергеземеа Бу зёгасвагез оЁ Ше оепега|! Ююгт, факКше уамез ш ап 
агрИгагу зеё о# огарВз. 

АБзгасЕ СОМ агспиесвите ог ЗПМО-с1а5$ 15 4еуеореа \Ймсь гергезеп$ Сощеп! 
АЧ@геззае РагаПе! Ргосеззог (САРР) ш еззепсе. ВмеЁ 4езсирйоп 1$ олуеп Юг 
ргосеззог (@ОМ), ргосеззог’$ даа ппаЁ ап@ шягасйоп зе Базс рипстРез оЁ 
Копсбопто. А]еогт 0 НапзКопт агбИтгагу зетапис пебмогК шю а с1аз$1с отарь 
УИ тесщаг засватге 1$ Югта|те4 Базед оп сб СОМ орегайез ап тезШ@пе ш 
розу ю пар!етеп{ еЁРйслеп{ а!еогИил$ оЁ рагаПе| ргосеззте. Ехатр!е о СОМ 
пцеотайоп ш аррИсаноп п{еШсеп{ зу$ет 1$ сопз14еге4. 


То арргобае гези 5 оЁ тезеагсн Фе зоЁ\аге то4е| о ргорозе4 агсниесваге \уаз 


еуеоре4 Базе оп сотрийп» сауег ап изше МУ1Ча СОРА 1есВпо]озу. МР! 
{есбпо]оу 1$ изе4 ю Напзтшй шоптайоп Бебмееп сазег подез. ЗоЁ\аге 15 4еуеюореа 
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УсВ 1$ аппе4 ай гедисте ехрепзез оГ СОМ пиезтайоп ш геа| аррИсаНоп зуз{етв. 
ТВе гези $ оЁ Фе зузет регРогтапсе {е5{ теазигетепе аге элуеп; БлеР апа1уз1$ оЁ Фе 
гесетуе4 ааа 15 ргезеще4. 


Н.Л. Вереник, М.М. Татур, Е.Н. Сейткулов 
Реализация графодинамической машины на вычислительном кластере и ее 
интеграция в интеллектуальную систему 

В данной статье изложен подход к построению прикладных интеллектуальных 
систем с использованием ГДМ (графодинамической машины) в качестве аппаратной 
платформы. Под ГДМ понимается система, ориентированная на решение задач на гра- 
фах. Входы, выходы и внутреннее состояние такой системы представляются струк- 
турами общего вида, принимающими значение из произвольного множества графов. 

Разработана архитектура абстрактной ГДМ $1МО-типа, представляющая собой 
ассоциативную ВС (вычислительную систему). Рассмотрены основные принципы 
функционирования процессора (ГДМ), формат данных и система команд процессора. 
Формализован алгоритм преобразования семантической сети произвольного вида к 
графу регулярной структуры, на основе которого функционирует ГДМ и в результате 
чего возможна реализация эффективных алгоритмов параллельной обработки. 
Рассмотрен пример интеграции ГДМ в прикладную интеллектуальную систему. 

Для апробации результатов исследования реализована программная модель 
предложенной архитектуры на базе вычислительного кластера с использованием 
технологий МУ14а СОРА. Для передачи информации между узлами кластера 
использовалась технология МР. Разработано ПО, ориентированное на уменьшение 
затрат на интеграцию ГДМ в реальные прикладные системы. Приведены результаты 
тестовых замеров производительности системы, представлен краткий анализ 
полученных данных. 
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